Les expressions se multiplient, quand on parle d’intelligence artificielle. Mais qu’est-ce qu’une injection de prompt ? Et une attaque adverse ?
Prompt injection, empoisonnement et autres attaques adverses… Quand on parle d’intelligence artificielle, en particulier générative, les nouvelles expressions sont nombreuses. Dans cette édition de notre lexique de l’IA, penchons-nous sur celles qui qualifient les attaques, déjà variées, qui visent à fragiliser les modèles d’apprentissage machine ou à contourner diverses restrictions implémentées par les constructeurs.
Nos précédents lexiques de l’IA :
- AGI, GPAI, modèles de fondation… de quoi on parle ?
- Neurone, inférence, entraînement, hallucination… de quoi on parle ?
Prompt injection
Abonnez-vous pour tout dévorer et ne rien manquer.
Déjà abonné ? Se connecter
Commentaires (3)
#1
Question de candide ;
Le cas présenté dans :
[...]
Prenons le cas d’un patient qui participerait à une étude pour définir les niveaux de difficulté d’un serious game pensé pour des personnes atteintes de la maladie d’Alzheimer, illustre le laboratoire d’innovation numérique de la CNIL (LINC). Si la détermination du niveau de difficulté est réalisé grâce à un système d’IA, un attaquant qui parviendrait à montrer la présence d’un patient dans le jeu d’entraînement du système obtiendrait du même coup son diagnostic en matière d’Alzheimer.
[...]
En quoi c'est différent de l'obtention de n'importe données d'études qui auraient été divulgué ?
#1.1
Juste que pour une étude normale, ces données ne sont pas diffusées.
Alors que là, une manipulation de l'IA permettrait de remonter à ces données qu'on pensait cachées.
#1.2
Car sinon je ne vois pas.
PS : Mais dans ce cas ça voudrait dire aussi que l'étude ne serait pas surveillé ?